AI Papers Daily

#Index Compression

3 篇

EVIE: Evidence-Vector-Informed Embeddings for Visual Document Retrieval

EVIE：面向视觉文档检索的证据向量引导嵌入

🧭 视觉文档检索 · 多向量召回与索引压缩

Tencent IMA Product Center · Tencent Youtu Lab

提出视觉文档检索方案，用证据数据治理、双向蒸馏与层级索引压缩提升精度与存储效率

📌 工作参考价值（4 点）

• 数据治理方法可迁移：用多模态 judge 识别“有答案正样本”并过滤不可靠负样本，适合电商搜索、商品详情页图文匹配训练数据的自动清洗。
• Prefix-MRL 单 checkpoint 输出多个嵌套维度，线上可按延迟/存储预算动态切换 embedding 维度，无需重新编码或训练多个模型。
• HAC 索引压缩结合空间正则的 token 聚类，把多向量索引降到单阶段 MaxSim 可用的体积，128x 存储降低，适合大规模商品库的图文多向量召回。
• 多向量 + MaxSim 比单向量在图文混合 query-doc 匹配上更细粒度，但需控制索引大小，HAC 提供了准确率-存储权衡的新思路。

RecSys | 2026-10-08 | cs.IR | score 7/10

Visual Document RetrievalMulti-vector RetrievalMatryoshka Representation LearningIndex CompressionVision-Language Models

Compact and Efficient Indexes for Learned Sparse Retrieval

面向学习型稀疏检索的紧凑高效索引

🧭 稀疏检索索引压缩 · SEISMIC ★ 深度解读

ISTI-CNR · University of Pisa · Linkup

用 medoid 替代 block summary，并压缩前向索引组件与值，实现同等精度下最多 5.3× 提速、约 3× 省内存

📌 工作参考价值（4 点）

• SEISMIC 类两段式检索可直接把 block summary 换成 medoid：块元数据从几百字节稀疏向量缩到一个 8 字节 doc id，省下的空间可用于更细分块；召回下降通过调低 heap_factor（如 0.9→0.7）补偿，适合内存敏感场景。
• 前向索引压缩与 selector 解耦，可单独接入 KANNOLO/HNSW 等已有系统：先用递归图二分重排 vocabulary，再对 delta-gap 做 8 整数块 SIMD bit-packing，配合 gather/FMA 融合 decode 与点积，避免 decompress-then-process 的内存墙；在 SPLADE-v3 上可近半减前向索引内存。
• 值量化优先考虑 per-component 4-bit：SPLADE 类非负权重可近似 v≈w*k 去掉 offset，每条匹配仅保留一次 FMA；k-means centroid 量化在低 bit 下比 scalar 更稳，可用一半 8-bit 内存恢复大部分精度。
• 若业务有“短 query、长 document”的 inference-free retriever 或 push 选词场景，可用 JUMPDOT：固定 16 entry/块，按 query component 与 block max 跳过不匹配块，获得约 2.1–2.4× 加速，额外内存开销 <2%。

RecSys | 2026-10-08 | cs.IR | score 8/10

Learned Sparse RetrievalIndex CompressionSIMDQuantizationSEISMICForward Index

ColBERTSaR: Sparsified ColBERT Index via Product Quantization

ColBERTSaR：通过乘积量化实现ColBERT索引稀疏化

🧭 神经检索 · 索引压缩与稀疏化

Johns Hopkins University

利用乘积量化将ColBERT密集索引转化为真正的倒排索引，在保持效果的同时缩小索引50-70%

📌 工作参考价值（4 点）

• 多向量检索索引压缩：如果业务中使用类似ColBERT的多向量检索（如商品多模态嵌入匹配），可直接借鉴乘积量化将每篇文档的Token嵌入离散化为码本ID，构建经典倒排索引，大幅降低存储和查询时的解压开销。
• 平衡效果与存储：该方法在保持检索质量的前提下，索引大小仅为1-bit PLAID的30%-50%，对于资源受限的电商搜索或推荐系统，可作为一种轻量级部署方案。
• 查询效率优化：传统ColBERT查询瓶颈在于“收集-解压”阶段，本工作通过量化将直接倒排查询，省去了在线解压和MaxSim的全量聚集，适合要求低延迟的实时推荐或搜索场景。
• 学习稀疏化思路：文中指出的“嵌入量化等价于学习稀疏检索”观点，启发我们可以用类似方法将其他稠密检索模型压缩为稀疏表示，方便与现有搜索引擎基础设施集成。

RecSys | 2026-06-04 | cs.IR | score 7/10

ColBERTProduct QuantizationInverted IndexSparse RetrievalIndex Compression